এই কুঠিবাড়ি অবশ্য রবি ঠাকুরের জীবনের বড় অংশজুড়ে ছিলেন। রবীন্দ্রনাথের দাদু প্রিন্স দ্বারকানাথ ঠাকুর ১৮০৭ সালে এই অঞ্চলের জমিদারি পান।